채점 가능한 실험 시스템
채점 가능한 실험 시스템
Definition
채점 가능한 실험 시스템은 코드, 설정, 정책, 알고리즘 변경이 실제로 좋아졌는지 나빠졌는지를 자동 점수와 회귀 가드레일로 판정할 수 있게 만든 실험 환경이다. AI 에이전트에게 “잘 개선해봐”라고 지시하는 대신, 목표 지표, 수정 가능 범위, 테스트 시나리오, 실패 판정 기준, 기록 메모리를 함께 제공하는 운영 구조다.
Why It Matters
AI 에이전트는 시도 속도가 빠르기 때문에, 명확한 채점기 없이 투입하면 잘못된 방향의 삽질도 빠르게 반복한다. 반대로 채점 가능한 실험 시스템이 있으면 에이전트는 코드 수정, 검증, keep/discard, lesson 기록을 반복하며 사람의 연구 반복 노동을 줄일 수 있다.
Related Concepts
- [Agentic AI](/notes/30-concepts__Agentic AI/)
- [Agent Memory](/notes/30-concepts__Agent Memory/)
- [AI 시대 시니어 개발자](/notes/30-concepts__AI 시대 시니어 개발자/)
- [Human Approval Boundary](/notes/30-concepts__Human Approval Boundary/)
Source-Backed Claims
- HLS.js LL-HLS ABR 사례에서 사람은 목표, 수정 가능 파일, 베이스라인, 회귀 가드레일을 정의하고 AI 에이전트는 자동 실험 루프를 반복해 QoE를 0.7954에서 0.9310으로 개선했다. Source: [AI 에이전트가 코드를 실험하고 개선하는 법](/notes/10-sources__AI 에이전트가 코드를 실험하고 개선하는 법/).
- 수정 가능 파일을 ABR 관련 4개로 제한한 것은 자율성을 제거한 것이 아니라, 에이전트가 의미 있는 탐색 공간 안에서 반복하게 만든 제약이었다. Source: [AI 에이전트가 코드를 실험하고 개선하는 법](/notes/10-sources__AI 에이전트가 코드를 실험하고 개선하는 법/).
- 실패 후보의 상당수는 짧은 시뮬레이션 단계에서 조기 탈락 신호를 보였고, tiered validation은 오래 걸리는 풀 테스트를 유망 후보에만 쓰도록 만들었다. Source: [AI 에이전트가 코드를 실험하고 개선하는 법](/notes/10-sources__AI 에이전트가 코드를 실험하고 개선하는 법/).
lessons.json처럼 실패 패턴을 구조화해 다음 반복에서 읽게 하면 에이전트가 같은 파라미터 실험을 반복하는 비용을 줄일 수 있다. Source: [AI 에이전트가 코드를 실험하고 개선하는 법](/notes/10-sources__AI 에이전트가 코드를 실험하고 개선하는 법/).
Examples
- 동영상 플레이어 ABR 알고리즘을 QoE 점수와 네트워크 시나리오로 검증하는 실험 루프.
- 서버 성능 개선에서 p95 latency, error rate, CPU cost, regression guard를 점수화해 에이전트가 작은 변경을 반복하게 하는 구조.
- UI 렌더링 최적화에서 Lighthouse 점수, interaction latency, visual regression을 자동 판정기로 쓰는 구조.
Open Questions
- 단일 점수 최적화가 특정 사용자군의 경험 악화를 숨기지 않도록 어떤 보조 지표를 강제해야 하는가?
- 실험 시스템 구축 비용이 에이전트 자동화 이득보다 커지는 경계는 어디인가?
- 실제 운영 데이터와 시뮬레이터 데이터의 상대 랭킹 일치도를 어떻게 측정할 것인가?
Sources
- [AI 에이전트가 코드를 실험하고 개선하는 법](/notes/10-sources__AI 에이전트가 코드를 실험하고 개선하는 법/)